Compositional Online Learning for Semantic Data Processing Systems
语义数据处理系统中的组合在线学习
🧭 LLM 语义数据系统在线优化
Snowflake Inc.
在 LLM 调用边界组合多个在线学习组件，将训练更新隐藏在慢速 LLM 往返中，优化语义数据查询成本
📌 工作参考价值（4 点）
- 借鉴「LLM 往返延迟内做在线学习」：在电商搜索/推荐中，LLM 调用（如 query 理解、商品文案生成）占比高且慢，可以把轻量在线模型更新（如缓存命中率统计、过滤排序权重）藏在调用间隙，不增加额外延迟。
- 分层组件化优化：对应业务中的 memoization（query-LLM 结果缓存）、per-call 过滤排序（相似商品/评论筛选时先过滤掉明显不相关项）、cascade routing（简单请求走小模型/规则，复杂请求走大模型）。每个组件对应一个成本因子，可独立更新、组合叠加。
- 条件成本分解与乘法下界：优化 LLM pipeline 时，先按「每行 LLM 成本 = 调用次数 × 每次成本 × 选中行数」拆解，不同组件负责不同因子，组合后可获得乘性加速；实测从 11.4x 理论界降为 ~8x。
- 在线学习更新节奏分 per-call 和 per-batch：per-call 适合高频轻量参数（如排序分数），per-batch 适合阈值/路由策略，避免过拟合和样本预算浪费。